With the development of natural language processing techniques(NLP), automatic diagnosis of eye diseases using ophthalmology electronic medical records (OEMR) has become possible. It aims to evaluate the condition of both eyes of a patient respectively, and we formulate it as a particular multi-label classification task in this paper. Although there are a few related studies in other diseases, automatic diagnosis of eye diseases exhibits unique characteristics. First, descriptions of both eyes are mixed up in OEMR documents, with both free text and templated asymptomatic descriptions, resulting in sparsity and clutter of information. Second, OEMR documents contain multiple parts of descriptions and have long document lengths. Third, it is critical to provide explainability to the disease diagnosis model. To overcome those challenges, we present an effective automatic eye disease diagnosis framework, NEEDED. In this framework, a preprocessing module is integrated to improve the density and quality of information. Then, we design a hierarchical transformer structure for learning the contextualized representations of each sentence in the OEMR document. For the diagnosis part, we propose an attention-based predictor that enables traceable diagnosis by obtaining disease-specific information. Experiments on the real dataset and comparison with several baseline models show the advantage and explainability of our framework.

Reinforcement-learning agents seek to maximize a reward signal through environmental interactions. As humans, our contribution to the learning process is through designing the reward function. Like programmers, we have a behavior in mind and have to translate it into a formal specification, namely rewards. In this work, we consider the reward-design problem in tasks formulated as reaching desirable states and avoiding undesirable states. To start, we propose a strict partial ordering of the policy space. We prefer policies that reach the good states faster and with higher probability while avoiding the bad states longer. Next, we propose an environment-independent tiered reward structure and show it is guaranteed to induce policies that are Pareto-optimal according to our preference relation. Finally, we empirically evaluate tiered reward functions on several environments and show they induce desired behavior and lead to fast learning.

图对比度学习（GCL）一直是图形自学学习的新兴解决方案。 GCL的核心原理是在正视图中降低样品之间的距离，但在负视图中增加样品之间的距离。在实现有希望的性能的同时，当前的GCL方法仍然受到两个局限性：（1）增强的不可控制的有效性，该图扰动可能会产生针对语义和图形数据的特征流程的无效视图； （2）不可靠的二进制对比理由，对于非欧几里得图数据而言，难以确定构造观点的积极性和负面性。为了应对上述局限性，我们提出了一个新的对比度学习范式，即图形软对比度学习（GSCL），该范例通过排名的社区无需任何增强和二进制对比符合性，在较细性的范围内进行对比度学习。 GSCL建立在图接近的基本假设上，即连接的邻居比遥远的节点更相似。具体而言，我们在配对和列表的封闭式排名中，以保留附近的相对排名关系。此外，随着邻里规模的指数增长，考虑了更多的啤酒花，我们提出了提高学习效率的邻里抽样策略。广泛的实验结果表明，我们提出的GSCL可以始终如一地在各种公共数据集上实现与GCL相当复杂的各种公共数据集的最新性能。

资金机构在很大程度上依赖于领域专家与研究建议之间的主题匹配来分配提案审查员。随着建议越来越跨学科，概述提案的跨学科性质是一项挑战，此后，找到具有适当专业知识的专家审阅者。解决这一挑战的重要步骤是准确对建议的跨学科标签进行分类。现有的方法论和申请相关文献，例如文本分类和提案分类，不足以共同解决跨学科建议数据引入的三个关键独特问题：1）提案的纪律标签的层次结构，谷物，例如，从信息科学到AI，再到AI的基础。 2）在提案中起着不同作用的各种主要文本部分的异质语义； 3）提案的数量在非学科和跨学科研究之间存在不平衡。我们可以同时解决该提案的跨学科性质时的三个问题吗？为了回答这个问题，我们提出了一个层次混音多标签分类框架，我们称之为H-Mixup。 H-Mixup利用基于变压器的语义信息提取器和基于GCN的跨学科知识提取器来解决第一期和第二个问题。 H-Mixup开发了Wold级混音，Word级cutmix，歧管混音和文档级混音的融合训练方法，以解决第三期。

提示将下游应用程序作为语言建模任务施放，与使用预训练的模型进行标准微调相比，已显示出样本有效的效率。但是，提示的一个陷阱是需要手动设计的模式，其结果可能是不直觉的，需要大量的验证集来调整。为了应对挑战，我们提出了一种全自动提示方法Autoseq：（1）我们在序列到序列模型上采用自然语言提示，从而实现自由形式生成和更大的标签搜索空间； （2）我们提出了标签序列 - 无限长度的短语以口头表达标签 - 这消除了手动模板的需求，并且比单个标签单词更具有表现力； （3）我们使用Beam Search自动生成大量的标签序列候选物，并提出对比度重新排列以获得最佳组合。 Autoseq显着胜过其他无手动设计方法，例如软提示调整，适配器调整和自动搜索单个标签单词；生成的标签序列比各种任务上的精选手动序列更好。我们的方法揭示了几次学习中序列模型的潜力，并阐明了通用通用和自动提示的途径。本文的源代码可以从https://github.com/thunlp/seq2seq-prompt获得。

任务概括是自然语言处理（NLP）的漫长挑战。最近的研究试图通过将NLP任务映射到人类可读的提示形式中来提高预训练语言模型的任务概括能力。但是，这些方法需要费力且不灵活的提示，并且在同一下游任务上的不同提示可能会获得不稳定的性能。我们提出了统一的架构提示，这是一种灵活且可扩展的提示方法，该方法会根据任务输入架构自动自动自定义每个任务的可学习提示。它在任务之间建模共享知识，同时保持不同任务架构的特征，从而增强任务概括能力。架构提示采用每个任务的明确数据结构，以制定提示，因此涉及几乎没有人类的努力。为了测试模式提示的任务概括能力，我们对各种一般NLP任务进行基于模式提示的多任务预训练。该框架在从8种任务类型（例如QA，NLI等）的16个看不见的下游任务上实现了强劲的零射击和很少的概括性能。此外，全面的分析证明了每个组件在架构提示中的有效性，其在任务组成性方面的灵活性以及在全DATA微调设置下提高性能的能力。

强化学习（RL）技术在许多具有挑战性的任务中引起了极大的关注，但是当应用于现实世界问题时，它们的性能急剧恶化。已经提出了各种方法，例如域随机化，以通过不同的环境设置下的培训代理来应对这种情况，因此在部署过程中可以将它们推广到不同的环境。但是，它们通常不包含与代理人正确相互作用的潜在环境因素信息，因此在面对周围环境变化时可能会过于保守。在本文中，我们首先将适应RL中的环境动态的任务形式化为使用上下文Markov决策过程（CMDP）的概括问题。然后，我们在上下文RL（AACC）中提出了不对称的参与者 - 作为处理此类概括任务的端到端参与者的方法。我们在一系列模拟环境中证明了AACC对现有基线的性能的基本改进。

Question Answering (QA) is a longstanding challenge in natural language processing. Existing QA works mostly focus on specific question types, knowledge domains, or reasoning skills. The specialty in QA research hinders systems from modeling commonalities between tasks and generalization for wider applications. To address this issue, we present ProQA, a unified QA paradigm that solves various tasks through a single model. ProQA takes a unified structural prompt as the bridge and improves the QA-centric ability by structural prompt-based pre-training. Through a structurally designed prompt-based input schema, ProQA concurrently models the knowledge generalization for all QA tasks while keeping the knowledge customization for every specific QA task. Furthermore, ProQA is pre-trained with structural prompt-formatted large-scale synthesized corpus, which empowers the model with the commonly-required QA ability. Experimental results on 11 QA benchmarks demonstrate that ProQA consistently boosts performance on both full data fine-tuning, few-shot learning, and zero-shot testing scenarios. Furthermore, ProQA exhibits strong ability in both continual learning and transfer learning by taking the advantages of the structural prompt.

当前的预训练语言模型（PLM）通常是通过静态数据训练的，忽略了在现实情况下，各种来源的流数据可能会不断增长。这要求PLM终生整合来自所有来源的信息。尽管可以通过对所有现有数据进行详尽的预培训来实现此目标，但已知该过程在计算上是昂贵的。为此，我们提出了Elle，目的是为新兴数据有效终身预训练。具体而言，ELLE由（1）函数保留的模型扩展组成，它们灵活地扩展了现有的PLM的宽度和深度以提高知识获取的效率； （2）预先训练的领域提示，它消除了在预训练期间学习的多功能知识，并刺激了下游任务的适当知识。我们通过来自BERT和GPT上5个域的流数据进行实验。结果表明，在预训练效率和下游性能中，ELLE的优越性超过了各种终身学习基线。这些代码可在https://github.com/thunlp/elle上公开获得。

实现通用语言情报是自然语言处理的长期目标，标准评估基准发挥基本和指导作用。我们认为，对于通用语言智能评估，基准本身需要全面和系统。为此，我们提出了Cuge，一种中文语言理解和生成评估基准，具有以下特征：（1）分层基准框架，其中数据集主要选择和组织语言能力 - 任务数据集层次结构。 （2）多级评分策略，其中基于分层框架提供了不同级别的模型性能。为了促进CUGE，我们提供了一个公共排行榜，可以自定义，以支持灵活的模型判断标准。代表性预先训练的语言模型的评估结果表明了对通用语言智能的完善的充足空间。 Cuge在Cuge.baai.ac.cn上公开提供。